Robinson sinh tại Ailey, Georgia với tên khai sinh Walker Smith Jr., là con của Walker Smith Sr. và Leila Hurst.[9] Robinson là em út trong trong ba chị em; chị cả là Marie sinh năm 1917 và chị hai là Evelyn sinh năm 1919. Cha làm nông trồng bông, lạc và ngô ở Georgia; rồi chuyển cả nhà đến Detroit và làm trong ngành xây dựng.[10] Theo Robinson, Smith Sr. sau đó đã làm hai việc một lúc để nuôi gia đình là thợ trộn xi măng và công nhân thoát nước: "Ông phải dậy lúc sáu giờ sáng và về nhà lúc gần nửa đêm. Sáu ngày một tuần. Ngày duy nhất tôi thực sự thấy ông là chủ nhật... Tôi luôn muốn có ông ở bên nhiều hơn".[11]

Cha mẹ ly thân, năm 12 tuổi, Walker cùng mẹ chuyển đến khu phố Harlem, Thành phố New York. Ban đầu ước mơ làm bác sĩ, nhưng sau khi bỏ học trường trung học DeWitt Clinton (ở Bronx) năm lớp chín, Walker chuyển mục tiêu sang quyền Anh.[12] Khi 15 tuổi, Walker định tham gia giải đấu quyền anh nhưng được thông báo rằng trước hết cần phải có thẻ thành viên AAU[lower-alpha 1] đã. Walker không có thẻ này cho đến 18 tuổi. Walker có tên mới khi gian dối giới hạn tuổi AAU bằng cách mượn giấy khai sinh của người bạn tên là Ray Robinson.[13] Smith Jr. trở thành "Sugar" Ray Robinson sau khi một nữ khán giả xem anh thi đấu tại Watertown, New York nói rằng anh "sweet as sugar".[lower-alpha 2][14][15]

Thời thanh niên, Robinson thần tượng Henry Armstrong và Joe Louis. Lúc 11 tuổi, Robinson đã ở cùng tòa nhà tại Detroit với Louis khi ấy 17 tuổi. Bên ngoài sàn đấu, thanh niên Robinson hay gặp rắc rối và dính líu đến băng nhóm đường phố. Kết hôn năm 16 tuổi và có một con trai Ronnie, Robinson đã ly hôn khi 19 tuổi.[14] Thành tích nghiệp dư được cho là 85–0 với 69 lần hạ nốc ao, trong đó 40 trận ngay ở hiệp đầu tiên, nhưng điều này còn bị tranh cãi.[16] Robinson giành chức vô địch hạng lông Găng vàng New York năm 1939 (thắng Louis Valentine 3 điểm), và vô địch hạng nhẹ Găng vàng New York năm 1940 (hạ Andy Nonella KO 2).[13]